Năm 1950 ông chuyển sang quân đội, giữ chức Trưởng phòng Đảng vụ Cục chính trị, sau đó là Cục trưởng đầu tiên của Cục Bảo vệ, kiêm chức Cục trưởng Cục Quân pháp (từ 7/1950) thuộc Tổng cục Chính trị Quân đội nhân dân Việt Nam thay Đại tá Phạm Trinh Cán.[5]

Khi mới thành lập, Cục Bảo vệ đóng tại bản Khâu Lầu, huyện Định Hóa, tỉnh Thái Nguyên. Khâu Lầu là một bản nhỏ của người Tày, thuộc vùng an toàn khu (ATK), giữa chiến khu Việt Bắc.

Việc Chủ nhiệm Tổng cục Chính trị giao nhiệm vụ cho ông và sự định hình bước đầu về tổ chức cơ quan Bảo vệ, được xem như sự kiện vô cùng quan trọng - sự kiện thành lập cơ quan Bảo vệ - An ninh quân đội. Với ý nghĩa đó, ngày 20 tháng 7 năm 1950 được xác định là ngày truyền thống của ngành Bảo vệ - An ninh và Cục Bảo vệ - An ninh Quân đội nhân dân Việt Nam.

Đồng thời ông giữ các chức vụ: Chủ tịch lâm thời Ban Căn cứ địa Trung ương, đảm nhiệm công tác Bảo vệ an ninh, Tòa án binh Trung ương và cơ quan công tố viên trong quân đội.

Năm 1953 ông la Ủy viên Ban chỉ đạo cuộc chỉnh huấn trong quân đội.

Năm 1957 ông chuyển sang Bộ Công an giữ chức Vụ trưởng Vụ Bảo vệ kinh tế.[6]